Dato' Seri Abdul Aziz mempunyai pengalaman berkhidmat selama sepuluh tahun sebagai guru sekolah iaitu dari tahun 1961 sehingga 1971. Beliau seterusnya dilantik sebagai Pegawai Khas kepada Menteri Pelajaran pada tahun 1975 dan berkhidmat di bawah Tun Dr. Mahathir Mohamad dan Dato' Musa Hitam. Pada tahun 1979, Dato' Seri Abdul Aziz berpindah ke Kementerian Belia dan Sukan setelah dilantik sebagai Pengarah Penyelidikan Belia di kementerian berkenaan. Beliau pernah berkhidmat sebagai Setiausaha Sulit kepada Perdana Menteri Malaysia keempat, Tun Dr. Mahathir Mohamad bermula dari tahun 1981 hingga tahun 1999.

Dato' Seri Abdul Aziz mula berkecimpung dalam arena politik setelah beliau menyertai UMNO di Cawangan Pelabuhan Kelang pada tahun 1969. Pada tahun 1980, Dato' Seri Abdul Aziz telah dipilih sebagai Ahli Jawatankuasa UMNO Bahagian Tambun iaitu pada tahun yang sama beliau dipilih sebagai Naib Pengerusi UMNO Cawangan Gunung Mesah. Beliau yang pernah dilantik sebagai Senator dan Timbalan Menteri Pendidikan dari tahun 1999 hingga 2004 kini memegang jawatan sebagai ketua UMNO Bahagian Gopeng. Selain itu, beliau juga adalah Timbalan Pengerusi badan Perhubungan UMNO Perak serta Ahli Majlis Tertinggi UMNO Malaysia.